SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation
SignRAG：面向无标注手语翻译的统一检索增强框架
🧭 手语多模态翻译 · RAG 与强化微调
Macau University of Science and Technology · University of Macau · Institute of Automation, Chinese Academy of Sciences · Yale University · VIVO AI Lab
提出SignRAG，结合分层预训练、目标域检索增强与检索效用强化微调，首次在CSL-Daily全指标超越基于标注的手语翻译方法
📌 工作参考价值（4 点）
- 将“目标域检索库”视为业务内高质量少样本池：为特定商品类目或活动页建立小型 retrieval gallery，推理时注入 top-k 实例，可减少全量参数微调成本。
- RUG-RFT 的“检索效用奖励”值得迁移：用质量+效用双 reward 训练模型分辨哪些检索结果是正/负干扰，可用于推荐解释生成、Agent 工具调用路径选择等场景。
- 分层对齐思路可复用：先学习视觉/文本模态对齐，再与 LLM 联合训练，能缓解跨模态优化不平衡；在多模态商品表示接 LLM 时可参考。
- 无 gloss 超越有监督结果说明：检索增强+弱监督可能替代昂贵结构化标注，在商品属性补全、Query 改写等任务中可尝试。